Dưới thời tổng thống Benjamin Mkapa, Magufuli từ năm 1995 tới năm 2000 là thứ trưởng và từ năm 2000 tới năm 2005 là bộ trưởng bộ lao động Tanzania. Từ đầu năm 2006 tới tháng 2 năm 2008, Magufuli là bộ trưởng bộ phát triển và cư trú miền quê. Sau đó cho tới năm 2008, ông giữ chức bộ trưởng Bộ nông nghiệp và đánh cá.

Ngày 25 tháng 10 năm 2015, Magufuli đã thắng cử trong cuộc bầu cử tổng thống với số phiếu 58 % đánh bại đối thủ Edward Lowassa.[2][3] Vào ngày 5 tháng 11 năm 2015, Magufuli tuyên thệ làm tổng thống thứ năm trong lịch sử Tanzania.[4]